Search results for "international achievement studies"
showing 3 items of 3 documents
Threats to validity when using open-ended items in international achievement studies : Coding responses to the PISA 2012 problem-solving test in Finl…
2015
Open-ended (OE) items are widely used to gather data on student performance in international achievement studies. However, several factors may threaten validity when using such items. This study examined Finnish coders’ opinions about threats to validity when coding responses to OE items in the PISA 2012 problem-solving test. A total of 6 discussions during 6 coder practice sessions (on 6 OE items) and an interview between 5 coders were audiorecorded and analyzed by means of content analysis, and 3 main threats to validity were found: (1) unclear and complex questions; (2) arbitrary and illogical coding rubrics; and (3) unclear and ambiguous responses. Suggestions are given as to how to res…
Unwanted Literal Translation: An Underdiscussed Problem in International Achievement Studies
2012
In international achievement studies, a common test is typically used which is translated into the languages of the participating countries. For the test to be valid, all the translations and different-language test versions need to be equally difficult to read and answer. An underestimated and underdiscussed threat to this validity is unwanted literal translation. This paper discusses the problem of unwanted literal translation in international achievement studies. It defines what is meant by unwanted literal translation and explains why it is a threat to the validity of international achievement studies and why it is so difficult to avoid. It also discusses problems there have been when t…
Translating international achievement tests : translators’ view
2012
Kansainväliset arviointitutkimukset edellyttävät laajaa käännöstyötä, koska kaikki koemateriaalit on käännettävä kunkin osallistujamaan kielille. Kaikkien erikielisten koeversioiden on lisäksi oltava keskenään vertailukelpoisia, jotta tutkimustulokset olisivat valideja. Arviointitutkimuksissa onkin kehitetty nimenomaisia käännösprosesseja ja -käytänteitä varmistamaan koeversioiden vertailukelpoisuus ja tutkimustulosten validius. Tässä tutkimuksessa tarkasteltiin kääntäjien kokemuksia näistä prosesseista ja käytänteistä ja niissä ilmenneistä ongelmista. Tavoitteena oli kehittää kansainvälisten arviointitutkimusten käännösprosesseja ja -käytänteitä ja lisätä näin näiden tutkimusten tulosten v…